#스파스 어텐션

차세대 LLM을 향한 스타트업들의 도전

현재 대형 언어 모델(LLM)의 핵심 기술인 트랜스포머(Transformer)가 데이터 처리량이 늘어남에 따라 연산 비용과 전력 소모를 급증시키는 병목 현상을 겪고 있습니다. 이에 따라 스파스 어텐션(Sparse Attention) 등 트랜스포머의 근본적 한계를 극복하고 모델을 더 빠르고 효율적으로 만들려는 신생 기업들의 새로운 시도가 주목받고 있습니다.